package cn.ipanel.bigdata.example

import cn.ipanel.bigdata.boot.Job

/**
 * @author lzz
 * @environment IntelliJ IDEA 2020.3.1
 * @projectName bigdata_shanxi
 * @date 2023/05/11 12:04
 * @description: 对于压缩文件，spark同样也能读取，并且hi自动解压的
 */
object SparkCompressedFileRead extends Job{

  def main(args: Array[String]): Unit = {
    val df = spark.read
      .option("header", "true") //是否将第一行作为表头header
      .option("delimiter", ",") //字段分隔符
      .option("encoding", "gbk") //指定文件编码，否则是乱码的
      .csv("file:///D:/文档/陕西网关/现场文档/STB_DeviceAllDaily_20230501.gz")

    df.show(false)

    spark.read
      .option("header", "true") //是否将第一行作为表头header
      .option("delimiter", ",") //字段分隔符
      .option("encoding", "gbk") //指定文件编码，否则是乱码的
      .csv("STB_DeviceAllDaily_20230613.gz")
      .select("deviceId")
      .filter("deviceId in ()")
  }

}